Mặc dù các số tự nhiên thông thường thỏa mãn các tiên đề của PA, nhưng cũng có các mô hình khác (được gọi là " mô hình không chuẩn mực "); định lý compact cho thấy rằng sự tồn tại của các phần tử không chuẩn mực là không thể loại trừ được trong logic thứ nhất.[13] Định lý Löwenheim–Skolem đi lên cho thấy rằng có những mô hình PA không chuẩn cho tất cả các số đếm vô hạn. Điều này không áp dụng với các tiên đề Peano (bậc hai) ban đầu, chỉ có một mô hình, lên đến phép đẳng cấu.[14] Điều này minh họa một mặt mà hệ thống PA bậc một yếu hơn các tiên đề Peano bậc hai.

Khi được diễn giải như một định lý trong lý thuyết tập hợp bậc nhất, chẳng hạn như ZFC, định lí phạm trù của Dedekind cho PA cho thấy mỗi mô hình của lý thuyết tập hợp có một mô hình duy nhất của các tiên đề Peano, cho đến đẳng cấu, là một phân đoạn ban đầu của tất cả các mô hình PA khác có trong mô hình lý thuyết tập hợp đó. Trong mô hình chuẩn của lý thuyết tập hợp, mô hình PA nhỏ nhất này là mô hình chuẩn của PA; tuy nhiên, trong một mô hình không chuẩn mực của lý thuyết tập hợp, nó có thể là một mô hình không chuân mực của PA. Tình trạng này không thể tránh được với bất kỳ cách hình thức hóa bậc nhất nào của lý thuyết tập hợp.

Hiển nhiên là có câu hỏi liệu một mô hình không chuẩn mực đếm được có thể được xây dựng rõ ràng hay không. Vào năm 1933, Skolem khẳng định là có thể khi đưa ra một cấu trúc rõ ràng của một mô hình phi tiêu chuẩn như trên. Mặt khác, định lý của Tennenbaum, đã được chứng minh vào năm 1959, cho thấy rằng không có mô hình PA không chuẩn mực đếm được nào trong đó phép cộng hoặc nhân là có thể tính toán được.[15] Kết quả này cho thấy rất khó để làm rõ ràng hoàn toàn trong việc mô tả các phép cộng và nhân của một mô hình PA phi tiêu chuẩn có thể đếm được. Chỉ có một loại hình số đếm khả dĩ cho một mô hình không chuẩn mực có thể đếm được. Cho ω là loại hình thứ tự của các số tự nhiên, ζ là loại hình thứ tự của các số nguyên, và η là loại hình thứ tự của số hữu tỉ, loại hình thứ tự của bất cứ mô hình không chuẩn mực đếm được của PA là ω + ζ·η có thể hình dung như một bản sao của các số tự nhiên theo sau là một thứ tự tuyến tính dày đặc của các bản sao của các số nguyên.

Overspill

Một lát cắt trong mô hình không chuẩn mực M là tập con khác rỗng C của M sao cho C đóng theo chiều xuống (x < y và y ∈ C ⇒ x ∈ C) và C đóng dưới hàm kế tiếp. Một lát cắt thực sự là một lát cắt là tập con thực sự của M. Mỗi mô hình không chuẩn mực có nhiều lát cắt thực sự, bao gồm một mô hình tương ứng với các số tự nhiên chuẩn mực. Tuy nhiên, sơ đồ quy nạp trong số học Peano ngăn không cho bất kì lát cắt thực sự nào có thể được định nghĩa. Bổ đề overspill, lần đầu tiên được chứng minh bởi Abraham Robinson, hình thức hóa điều này.

Bổ đề Overspill[16] Gọi M là mô hình không chuẩn của PA và cho C là một phép cắt M thích hợp. Giả sử rằng a ¯ {\displaystyle {\bar {a}}} là một bộ các phần tử của M và ϕ ( x , a ¯ ) {\displaystyle \phi (x,{\bar {a}})} là một công thức trong ngôn ngữ số học sao cho M ⊨ ϕ ( b , a ¯ ) {\displaystyle M\vDash \phi (b,{\bar {a}})} với mọi b ∈ C.Khi đó có một c trong M lớn hơn mọi phần tử của C sao cho M ⊨ ϕ ( c , a ¯ ) . {\displaystyle M\vDash \phi (c,{\bar {a}}).}